Spitz sinh ra tại Modesto, California, và là con đầu trong số ba người con[4] của Lenore Sylvia (Smith) và Arnold Spitz. Gia đình ông là người Do Thái; gia đình của cha ông đến từ Hungary và mẹ của ông, ban đầu có họ là "Sklotkovick", đến từ Nga.[5][6][7] Khi ông được hai tuổi, gia đình Spitz chuyển đến Honolulu, Hawaii, nơi ông bơi tại bãi biển Waikiki mỗi ngày. "Bạn nên thấy Spitz lao xuống đại dương như thế nào. Nó chạy như thể nó đang cố tự tử," Lenore Spitz trả lời phỏng vấn tạp chí Time năm 1968. Khi lên 6 tuổi, gia đình ông trở về Sacramento, California, và ông bắt đầu thi đấu tại câu lạc bộ bơi lội địa phương. Khi lên 9 tuổi, ông đã được đào tạo tại Câu lạc bộ bơi Arden Hills ở Sacramento với huấn luyện viên bơi lội Sherm Chavoor, người đã huấn luyện bảy vận động viên giành huy chương Olympic, bao gồm cả Spitz.

Spitz đã giành một kỷ lục thế giới của nhóm tuổi và 17 kỷ lục quốc gia ở độ tuổi 10.[8] Ở tuổi 14, gia đình anh chuyển tới Santa Clara, nơi Spitz gia nhập Câu lạc bộ Bơi Santa Clara và được huấn luyện viên George F. Haines huấn luyện. Từ 1964 đến 1968, Mark được đào tạo với Haines tại SCSC và trường trung học Santa Clara. Trong suốt bốn năm ở đó, Mark đã giành các kỷ lục cấp 3 quốc gia trong mọi kiểu bơi và ở mọi khoảng cách.[cần dẫn nguồn] Năm 1966 ở tuổi 16, anh đã vô địch bơi bướm 100 mét tại giải vô địch quốc gia AAU, lần đầu tiên trong tổng số 24 danh hiệu AAU của anh. Năm sau, Mark lập kỷ lục thế giới đầu tiên của mình tại một cuộc thi nhỏ ở California trong thể loại 400 mét tự do với thời gian 4:10.60, và bắt đầu nổi lên trong làng bơi lội thế giới.[9]